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摘 要 : 社交 网 络 和 其 他 云 应 用 程序 应 该 能 对 从 数据 中 心 发 出 的 请 求 作出 快速 响应 ， 实 现 这 种 请 求 的 技术 之 一 是 内 存 
中 的 键 值 存储 〈IMKVS)， 它 是 一 种 缓存 机 制 ， 目 的 是 为 了 提高 整体 用 户 体验 。 一 般 地 ，IMKVS 系统 使 用 一 致 性 哈 项 
来 决定 在 哪 存储 目标 ， 一 致 性 哈 希 使 用 起 来 方法 简单 ,但 可 能 引起 网 络 负载 的 不 平衡 。 为 了 提高 IMKVS 的 缓存 性 能 ， 
提出 一 种 软件 定义 网 络 中 利用 IMKVS 结合 NFV 的 分 布 式 网 络 负载 均衡 策略 。 该 策略 包含 两 个 阶段 ， 第 一 阶段 设计 通 
用 的 SDN 负载 平衡 器 的 模块 ， 以 运行 不 同 的 负载 平衡 算法 ; 第 二 阶段 是 基于 IMKVS 的 专业 化 缓存 ， 可 以 实现 通信 管 
理 和 数据 复制 。 仿真 结 果 表明 ， 相 比 于 一 致 性 哈 希 ,缓存 服务 器 上 的 负载 可 改善 24%， 网 络 上 的 负载 可 改善 7%， 策 略 
能 够 使 资源 利用 更 合理 ， 获 得 更 好 的 用 户 体 验 。 
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Abstract: Social networks and other clouding applications should require fast responses from datacenter are infra- structure. 
One of the techniques that have been widely used for achieving such requirement is the employment of mm-Memory Key-Value 
Storage (IMKVS) as caching mechanisms in order to improve overall user experience. Commonly IMKVS systems use 
Consistent Hashing to decide where to store an object, which may cause network load imbalance due to its simplistic approach. 
In order to improve IMKVS performance, this paper proposed a distributed network load balancing strategy using IMKVS and 
NFYV in software defined networks. The strategy consisted of two phases. In the first phase, a generic SDN load balancer module 
was designed to run different load balancing algorithms. The second phase was a specialized caching based on IMKVS that 
enabled communication management and data replication. Simulation results show an improvement of 24% on the load of the 
caching servers and 7% on the load of the network compared to consistent hashing, which results in better resource usage and 
better user experience. 
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key-value stores, IMKVS) (1。 这 些 简单 存储 可 以 通过 密 钥 映射 

为 任意 类 型 的 数据 提供 快速 的 访问 ,IMKVS 常用 以 存储 访问 的 

随 着 社交 网 络 的 日 益 普及 和 云 应 用 程序 的 日 益 复 杂 ， 建 立 。 数据 库 查 询 或 复杂 的 计算 与 结果 等 。 文 献 [2,3] 分 别 介绍 了 在 大 

一 个 可 以 处 理 强大 数据 的 数据 中 心 是 非常 有 必要 的 。 为 了 支持 ”型 云 服务 中 已经 开发 和 部 署 的 IMKVS 缓存 实现 。 文 献 [4] 的 应 
量 数 据 的 存储 和 处 理 ， 许 多云 应 用 程序 采用 一 个 简单 而 有 效 ”用 程序 编程 接口 (application programming interface，API) 客 
的 缓存 基础 设施 , 该 设施 依赖 于 内 存 中 的 键 值 存储 (in-memory 端 使 用 了 一 致 性 哈 希 (consistent hash，CH) 技术 。 它 包含 寿 
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服务 器 之 间 均 匀 分 布 密 铀 ， 确 保 服 务 器 的 添加 和 移 除 均 不 会 对 


密 钥 分 布 产生 


它 实 际 上 是 一 


巨大 影响 。 尽 管 CH 是 一 种 非常 
种 特殊 的 散 列 函 


效 的 技术 ， 但 


数 ， 该 函数 使 用 密 钥 和 一 组 服务 


器 来 选择 在 哪 存储 数据 。 然 而 ， 它 可 能 在 生产 网 络 中 出 现 负载 
不 平衡 ， 因 为 它 不 考虑 环境 方面 和 对 象 特 征 ， 像 尺寸 、 链 路 拥 


此 尹 
业务 流程 实 


塞 或 对 象 普及 度 。 


， 在 数 提 
现 网 络 和 服务 器 负载 平衡 。 
里 ， 找 到 专门 的 硬件 设备 或 应 


居中 心 环 境 中 ， 


有 必要 通过 应 用 层 算法 或 网 络 
有 实 上 ， 在 过 去 的 几 年 


婴 | 


程序 能 够 执行 特定 类 型 服务 的 


流量 负载 平衡 是 很 常见 的 。 然 而 ， 负 载 均 衡 任务 不 应 被 耦合 到 


专门 的 基础 设施 项 目 中 ， 
本 身 的 一 个 髋 入 式 特征 。 
在 过 去 的 几 年 里 ， 网 络 功能 虚拟 化 (network function 


Ba 


为 为 了 确保 最 大 性 能 ， 它 应 是 网 络 


Virtualization，NEFV ) 钻 已 成 为 现代 计算 机 网 络 技术 最 有 前 途 的 


研究 领域 2 


。 使 用 


旨 在 蔡 换 运行 网 络 功能 的 专 


了 硬件 设备 的 


软件 和 虚拟 化 ， 如 域名 服务 (DNS)、 网 络 地 址 转换 (NAT)、 入 侵 
检测 系统 IDS)、 缓存 等 , NFV 带 来 了 开发 网 络 服务 的 新 方法 。 


在 NFV 中 ， 


来 管理 网 络 。 


通过 软件 实施 这 些 称 作 虚 拟 
(virtualization network function，VNF) 的 服务 器 ， 
虚拟 机 中 (VMD)。 

与 NFV 的 同时 ， 另 一 种 越 来 越 受 欢迎 的 网 络 方法 为 软件 
定义 网 络 (software defined network，SDN ) 
面 中 分 离 控制 平面 , SDN 通过 创建 网 络 低级 功能 的 
* 管 SDN 和 
们 既 非 竞争 者 ， 又 不 冲突 。 当 一 起 使 用 它们 8 


于 从 中 受益 ， 因 为 它 
分 离 的 最 佳 方案 ， 从 1 
促进 更 好 的 通信 业务 流程 ， 
在 提出 


NFV 


有 与 虚拟 化 电源 并 存 的 数据 和 控制 平面 


化 网 络 功能 
将 其 部 署 于 


7?。 通 过 从 数据 平 
由 象 化 概念 
< 同 的 方面 ， 但 是 它 
对 ， 整 个 网 络 倾向 


有 许多 


条 对 网 络 进 行 了 有 效 的 控制 。SDN 有 助 于 


种 可 


而 NFV 集中 于 业务 提供 。 


以 平衡 IMKVS 请 求 负载 的 新 


p 心 环境 特征 。 为 了 最 小 化 数据 中 心 网 络 


和 服务 器 的 负载 ， 从 而 提供 高 的 可 扩展 性 、 更 好 的 资源 使 用 和 


复制 机 制 以 减轻 
VNF 将 考虑 各 种 网 络 和 服务 器 的 功能 。 
建 网 络 瓶 席 ， 本 文 将 提出 
并 将 其 充当 VNF 的 前 端 代理 。 


1 ”相关 研究 


上 了 一 种 负载 平衡 方法 ， 
切割 为 孤立 到 服务 器 端 和 客户 端的 树 ， 旨 在 主动 地 平衡 从 客户 
该 方法 提出 广泛 使 用 通配符 ， 通 配 


文献 [8] 提 上 


端 到 服务 器 端的 


通信 负载 。 


由 缓存 层 中 流 


行 对 象 产 生 的 负载 ， 这 种 新 的 
除 此 之 外 ,为 了 避免 创 


种 通用 的 基于 ALTO 的 负载 平衡 ， 


Sy 


它 通过 将 IP 地 址 空间 


符 可 以 减少 转发 性 能 并 创建 管 


Server, 


它 可 以 了 
服务 器 的 平均 响 
量 和 网 络 链 路 上 的 网 络 扩 
载 平衡 算法 来 选择 合适 的 服务 器 来 引导 请 求 ， 同 时 控制 了 网 络 


F 衡 非 结构 


时 问题。 文献 [9] 提 出 了 Plug-n- 


化 网 络 上 的 负载 ， 旨 在 最 小 化 HTTP 
应 时 间 。Plug-n-Server 通过 聚集 有 关 CPI 的 度 


塞 来 


上 的 数据 包 所 采用 


的 路 径 。 文 献 [10] 提 出 了 网 络 辅助 查找 方法 ， 


FE 衡 HTTP 请 求 负 载 ， 它 使 用 负 


钟 百胜 ， 等 : 软件 定义 网 络 中 利用 IMKVS 结 


> 
pA 
可 
< 


种 通过 现 有 


=| 
已 下 


IP 基础 设施 来 对 关键 值 存储 进行 


平衡 的 方法 。 其 提议 的 解决 方案 包含 分 配 多 个 卫 地 址 
每 个 服务 器 ， 每 个 地 址 被 映射 到 很 多 对 象 。 


2 ”关键 技术 


2.1 


软件 定义 网 络 和 应 用 层 流 量 优化 协议 


快速 负载 


到 每 层 的 


SDN 是 网 络 控制 和 管理 的 一 种 方法 ,该 方法 允许 管理 员 通 


过 较 低 网 络 


协议 功能 包 


对 于 控制 平面 
如 应 用 


由 象 化 来 管理 网 络 服务 。 
控制 平面 来 完成 的 , 它 决定 了 通过 网 络 基 础 结构 而 转发 也 
，SDN 需要 一 些 机 制 或 者 协议 来 与 设备 进行 通信 ， 
层 流 量 优化 Capplication-layertraffic optimization, ALTO ) 


这 是 


通过 解 耦 


还 
沁 
地 


协议 QU、 路 径 计 算 单元 (path computation element，PCE ) [4、 
OpenFlow 协议 0 等， 本文 主 要 运用 的 是 ALTO。 


2.1.1 ALTO 协议 


ALTO 协议 是 连接 ALTO 服务 器 以 及 ALTO 客户 端的 接口 。 
其 中 , ALTO 服务 器 承担 收集 网 络 拓扑 信息 的 功能 , ALTO 客户 


端 则 向 ALTO 服务 器 发 送 网 络 拓扑 信息 ， 并 根据 需要 对 拓扑 信 
息 进行 筛选 ， 以 便 为 应 用 层 服务 。 网 络 中 的 应 用 都 能 够 根据 自 
身 的 需求 ， 依 照 ALTO 协议 向 ALTO 服务 器 请 求 网 络 信息 。 图 
1 为 ALTO 服务 的 框架 图 。 

服 | | 拓扑 服务 

自拍 站 过 站 服务 | 端点 归属 服务 | 交点 咯 全 机 
信 

拓扑 信息 

务 || 网 络 拓扑 服务 | | 网 络 路 径 损耗 服务 


图 1 ALTO 服务 的 框架 


ALTO 协议 的 服务 主要 包括 映射 服务 、 
以 上 所 述 的 服务 中 ， 
服务 主要 包括 网 


射 过 滤 服 务 、 终 端 开销 服务 等 。 
是 核心 服务 ， 其 余 为 可 选 服务 。 映 射 


终端 属性 


服务 、 映 
映射 服务 


和 开销 映射 表 。 网 络 映射 表 中 存储 的 是 网 络 位 
组 表示 不 同 的 子 网 或 者 城 域 网 。 开 销 映射 表 反 映 了 路 1 


分 组 


销 。ALTO 服务 器 根据 路 由 开销 确定 不 同 


可 以 方便 的 修改 网 络 资源 消费 模式 。 路 


网 络 的 优先 
开销 包括 路 


络 映射 表 
， 不 同 分 
间 的 开 
级 ， 这 样 
的 跳 数 


以 及 成 本 等 。 


ALTO 协议 的 设计 主要 是 用 来 优化 


加 


| 恨 的 流量 


络 应 用 可 以 依据 这 些 服务 获取 网 络 信息 ， 


实现 节点 的 


服务 ， 网 
非 随机 性 


选择 ， 而 网 络 
最 小 化 节点 开销 


等 方 


2.1.2 基于 SDN 的 ALTO 


/和 


言 息 将 按照 不 同 的 应 用 需求 在 最 大 化 带宽 资源 、 
下 实现 平衡 。 在 网 络 中 
包含 的 服务 和 接口 可 以 实现 快速 的 网 络 优化 ，ALTO 协议 的 客 
户 端 到 服务 器 的 网 络 结构 则 可 用 来 进行 网 络 信息 的 传 


用 ALTO 协议 所 


输 和 路 和 


A 
o 


对 于 目前 的 ALTO 架构 来 说 ， 由 于 其 


包含 有 网 络 


J 


疼 ， 这 就 使 得 ALTO 的 计算 开销 增 大 ，ALTO 


信息 的 收 


也 就 


有 较 高 的 
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复杂 度 。 


ALTO 的 核心 | 


而 对 于 SDN 而 言 ， 


息 收 外 


7 
I 
[eay 


和 自动 化 是 其 主要 特征 。 


思想 是 向 上 


Ml 


月 


有 开放 应 用 接口 ， 将 ALTO 与 


SDN 联合 使 | 
建立 


在 使 / 


全 局 的 信息 


适 配 SND 划分 域 ， 
2.2 网络 功能 

网 络 功能 虚拟 化 (NFV) 提供 了 一 种 在 一 个 虚拟 化 的 基础 
网 络 功能 和 服务 的 新 方法 。NFV 从 专 


设施 中 设计 、 


均衡 、 网 络 地 


可 以 实现 
空 制 器 和 服务 器 
ALTO 中 客户 端 、 服 务 器 之 间 
控制 器 的 融合 ALTO 
划分 ， 协 议 收集 的 信 ) 


部 署 和 管理 
用 硬件 设备 中 解 碍 网 络 
引 翻 译 和 缓存 。 


流量 的 优化 。 本 节 用 


空 制 器 代替 客户 端 


钟 百 胜 ， 等 : 


软件 定义 网 络 中 利用 IMKVS 结合 NF 


< 


会 引起 缓存 层 中 局 部 变化 ， 避 免 了 服务 事件 上 的 热点 或 总 对 象 
重新 分 配 。CH 可 以 采用 的 方法 是 通过 使 用 对 象 和 服务 器 上 的 
一 致 性 哈 希 映射 对 象 到 服务 器 范围 ， 选 择 这 些 服务 器 之 一 来 储 


司 的 通信 模型 ， 


息 往往 


的 


是 来 自 某 个 特定 


(所 有 SDN 域 )。 


对 比 控制 器 的 使 用 下 
网 络 信息 流量 变化 。 

架构 中 ， 由 于 SDN 不 同 域 的 
SDN 域 而 
使 ALTO 协 


不 是 关 
议 能 够 


羽 此 ， 为 了 


需要 对 其 


进行 扩展 。 


虚拟 化 


欧洲 


NFV 是 SDN 的 一 种 互补 方法 。 虽 多 
司 的 方法 。SDN 分 离 控制 
集中 视图 ， 但 是 NFV 专注 于 在 独特 的 网 络 配置 基础 设施 上 实 
用 SDN 实现 NFV 基础 设施 


现 网 络 服务 ,不 


能 ， 如 防火 墙 、 入 侵 检测 系统 、 负 和 载 
设计 它 是 为 了 部 署 网 络 组 件 ， 以 
支持 虚拟 化 基础 结构 ， 包 括 虚 拟 机 、 服 务 器 、 存 储 等 。 其 基本 
电信 标准 协会 的 团体 于 2012 年 提出 的 。 
它们 均 用 于 管理 网 络 ， 
和 转发 下 看 以 提供 网 络 的 


中 


2.3 ”内存 中 的 键 值 存储 
内 存 中 的 键 值 存储 〈IMKVS ) 是 像 哈 希 映射 一 样 运转 的 基 


本 软件 


储 据 套 的 数据 结构 ， 但 是 


有 其 固有 的 优势 。 


， 它 通过 密 钥 映射 内 容 ， 能 够 在 缓存 层 内 执行 操作 或 存 


其 主要 功能 是 键 值 关系 。 在 应 | 


程序 


中 可 以 执行 的 基本 命令 如 下 所 述 : 


void set (key, value): i 


识别 的 给 定 值 。 


value get (key): 检索 在 特定 服务 器 中 存储 的 
别 的 值 。 如 果 没 有 与 密 名 
void delete (key): 


在 今 


存 层 拥有 复杂 和 耗 时 的 自 
注意 的 是 , IMKVS 是 今天 数据 
这 些 系统 需要 能 够 提供 大 量 的 旨 在 服务 用 户 请 求 的 应 ) 
述 的 方法 ， 最 简单 的 


旋 


求 。 按 照 上 面 所 措 


相关 的 值 ， 则 返 


询问 特定 的 服务 器 以 存储 给 定 密 钥 


给 定 密 钥 识 


室 。 


加 


I 除 特定 服务 器 给 定 密 钥 识 
天 的 数据 中 心中 , IMKVS 大 多 用 来 作为 缓存 层 , 该 组 
E 务 ， 如 大 量 的 数据 库 
FP 心 应 用 程序 的 关键 部 分 , 然而 


\ 别 的 值 。 


查询 结果 。 需 要 


程序 请 
能 会 触发 多 


户 请 求 可 


个 到 缓存 
访问 。 


层 的 请 求 ， 这 使 得 这 些 缓存 随 着 时 间 的 


移 而 被 大 量 


2.4 ”一致 性 哈 希 


Web 缓存 的 有 限 性 


促使 了 一 致 性 


合 希 (CH) 的 出 现 。 使 用 


一 致 性 哈 希 和 mod 运算 可 以 将 对 象 集 均 匀 地 分 配 到 缓存 服务 


器 。 令 0 为 任意 一 个 对 象 ，n 为 可 
表示 将 对 象 O 分配 到 服务 器 中 : 
i=hash(O)modn 


可 


用 服务 器 的 数量 。 则 式 〈1) 


(D) 


CH 的 核心 思想 是 将 对 象 集合 均匀 分 配 到 服务 器 集合 中 。 


当 添加 一 个 新 的 服务 器 到 缓存 层 时 ， 


时 ， 当 移 除 发 生 时 ， 服 务 器 的 对 象 与 其 


临近 的 对 象 与 其 共享 ， 同 
邻近 共享 。 这 种 方法 


ZN 


存 数据 。 算法 1 为 基本 算法 步 又, 其 中 C ,为 服务 器 集 ，O 为 对 
象 ， 万 为 哈 希 函数 。 

算法 1: 一 致 性 哈 希 
1 初始 化 循环 表 工 ; 


2 对 于 C, 中 的 每 一 个 服务 器 9 ， 执 行 : 
3 HH.,,=H(9): 
4 T={h=H,,s=S}:; 
5 将 丰 暴 入 到 区 
6 结束 
7 基于 了 . 疡 值 分 类 区 
8 H,,=H(O):; 
9 如 果 克 包含 任意 下 户 = 万, ， 则 返回 T.s 
10 结束 
11 否则 
12 ”将 太 ,, 以 排序 方式 嵌入 到 工 ， 比 较 万 ,, 和 TT.s 的 值 ; 
13 ”返回 了 .8 值 最 右边 的 人，; 
14 结束 
根据 算法 1， 图 2 显示 了 如 何 将 两 个 随机 对 象 映射 到 某 些 
缓存 服务 器 。 其 中 O 将 被 映射 到 S, ，0O, 将 被 映射 到 5S,。 如 果 
将 5; 从 缓存 层 中 移 除 , 则 0, 将 被 映射 到 5 或 CO ,因为 它们 是 
当前 5 的 近邻 ,如 果 添 加 5; 到 环 , 则 它 将 被 置 于 S, 和 ,之 间 ， 


它们 持 有 的 对 象 将 与 %5 共享 。 


S1(10450) 


,一 人 ~ O1(110891) 
0020) p= 
人 | 
\ 证 
| | 人 ~ 全 ( ) S,(200340) 


| 
/ 


\ 
O02(674832) by 


Orn( 哈 希 值 ) 
后 一 Sn( 哈 希 值 ) 
Sa(500800) 
四 2 CH 环 上 重合 的 两 个 对 象 
尽管 CH 穿 过 几 个 服务 器 在 对 象 分 布 中 具有 良好 的 结 


但 需要 注意 的 是 ， 它 并 没有 把 一 切 都 考虑 进去 ， 这 会 引起 网 络 
热点 。 为 了 服务 于 用 户 和 应 用 程序 的 复杂 请 求 ， 数 据 中 心 会 处 
里 大 量 的 对 象 ， 所 以 如 果 要 降低 将 要 创建 的 网 络 热 点 的 概率 ， 


算法 必须 考虑 网 络 索 引 。 


3 ”两 相 负载 平衡 器 

本 章 介绍 了 两 相 负载 平衡 机 制 ， 其 旨 在 提高 IMKVS 缓存 
性 能 。 提 出 的 解决 策略 包含 两 个 阶段 ， 第 一 阶段 设计 通用 的 
SDN 负载 平衡 器 的 模块 ， 以 运行 不 同 的 负载 平衡 算法 ;第 二 阶 
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段 是 基于 IMKVS 的 专业 化 缓存 ， 司 
可 将 其 部 署 于 非 结构 
在 两 个 阶段 中 都 会 实 
部 署 虚拟 化 网 络 功能 管 
衡器 部 署 acfVNF 模块 。 


制 | 》 


设施 共享 于 所 有 


务 的 原因 是 为 本 文 提 出 
空 制 器 中 的 瓶颈 。 
如 果 在 数据 包 到 达 
户 端 将 命令 发 送 给 IMKVS 服务 器 。 
一 旦 请 求 到 
检查 高 速 缓存 重 定向 虚拟 机 的 当 
请 求 到 负载 最 少 的 VM 实 


2 二 


SDN 控制 器 。 


纲 VNF 


所 有 


a 
品 


VNFM 和 
的 1 


笑 访 


大 的 


息 通 六 


电 方 ， 交 换 机 


以 实现 通信 管 至 
化 网 络 之 上 ， 旨 在 代 蔡 CH 算法 。 
功能 。 第 一 阶段 负载 习 
里 器 (VNFM) 模块 ， 第 二 阶段 负载 平 
过 分 布 式 哈 希 表 覆 盖 基 础 


展 性 ， 


达 控 制 


器 ， 


已 将 调用 


前 状态 ， 


和 数 寺 


其 目 


例 ， 从 


称 作 第 一 阶段 负载 平衡 。 
第 二 阶段 负载 平衡 主要 负载 


服务 器 的 负载 ， 复 制 对 象 ， 
多 个 执行 
可 扩展 性 , 同 


载 。 它 可 能 
的 解决 策略 具有 


序列 图 。 


户 端 


时 ， 


负载 平 
交换 机 控制 器 


发 送 IMKVS 请 求 


检查 流 表 [EO 


发 送 到 第 一 阶段 


项 各 


竹 务 ， 平 衡 通过 


局 复 


衡器 


VNF 模块 之 间 。 分 发 负载 平衡 器 任 
策略 提供 可 扩 以 缓解 SDN 
Pp 没有 配置 路 径 ， 则 客 
交换 机 访问 转发 数 扩 
VNFM 模块 来 
的 是 为 了 转发 此 
i 配置 了 请 求 交换 机 。 这 一 


居 包 的 


[使 得 本 文 提 


图 3 为 本 文 提 


衡 序 


gBstS0 < 


FlowMod 信息 


出 的 


列 


IMKVS 


VM 服务 器 


公关 到 第 一 阶段 
-> 


发 送 到 第 二 阶段 


运行 调度 算法 


响应 


转发 到 最 佳 服务 器 
IT 
响应 


交换 机 


处 理 响应 


图 3 


段 定 一 个 客 


务 器 具有 一 个 通 


hs 
过 TCP 处 


负载 平衡 序列 图 


服务 器 5， 
里 连接 的 IMKVS 实例 。 


| 
VM 


第 一 


发 生 的 事 1 


需要 交 ] 


1 情 是 三 次 数据 交换 9 
和 负 三 个 数据 包 : SYN、 


已 包含 了 主机 之 


SYN+ACK 和 ACK。 


建立 了 此 连接 。 所 有 这 些 数据 包 需 要 至 


机 和 控制 器 在 没有 3 


算法 是 分 布 式 的 


VNF 负载 平衡 。 


| 达 对 方 ， 从 而 迫 


中 将 没有 条 
空 制 器 。 


目 与 之 
一 旦 该 数据 包 到 达 该 


匹配 ， 这 将 


器 可 


这 个 过 


据 包 目 的 地 的 PacketOut 信息 。 
以 分 析 额 外 的 数据 包 以 提 : 
程 中 ， 将 检查 数据 包 的 任务 移动 到 VNF 模块 至 关 


取 


命令 密 


钥 。 


的 请 求 ， 同 时 ， 这 个 
牛 必须 
间 的 协商 ，; 
C 和 
使 交 ] 
F 涉 的 情况 下 转发 这 些 数据 包 。 这 表 昌 
当 数 据 包 到 达 交 换 机 时 
使 得 交换 机 发 送 PacketIn 
空 制 器 ， 则 它 必 发 送 具 有 原始 数 
在 CG 和 Si 建立 连接 之 后 , 控制 


几 个 缓存 
以 减轻 持 有 流行 对 象 的 服务 器 的 负 
负载 平衡 器 的 VNF， 从 


Eh 


使 得 它 容 易 部 署 更 多 的 缓存 。 
这 些 VMs 需要 共享 它们 的 内 部 转发 状态 以 确 
VMs 不 会 引起 数据 不 一 致 。 


保 添加 和 移 除 
5 相 负 载 平 衡器 


je 


钟 百胜 ， 


答 


本 


重要 ， 这 就 涉及 到 客户 让 


策略 中 ， 当 客 


器 VNFM 将 转发 数据 


3.1 


包 到 | 鳞 


生生 一 


宁 一 


软件 定义 网 络 中 利用 IMKVS 


V 合 
NU 大 


攻 和 服务 器 的 连接 。 在 本 文 提 
户 端 打开 到 服务 器 的 连接 时 ， 


到 第 二 阶段 负载 平衡 器 ， 
载 平 衡器 而 被 不 均匀 地 重 定向 。 


从 而 


接连 接 并 开 


FE 要 目的 是 将 所 有 IMKVS 的 请 求 数据 包 复制 


各 负 


出 的 解决 


第 一 阶段 负载 平衡 
阶段 负载 平衡 器 的 VNF 模块 。 
这 时 候 ， 为 了 将 该 请 求 转发 给 最 佳 的 IMKVS 服务 器 ， 第 二 
段 负载 平衡 器 必须 建立 与 客户 端的 直 
第 一 阶段 负载 平衡 器 
第 一 阶段 的 3 


阶 


始 听从 命令 。 


十 和 后 


避免 这 些 数据 包 通 


为 了 优化 资源 使 / 


所 提出 的 VNF， 
虑 了 两 个 条 


VM 要 考虑 的 参数 


] ,请求 通 过 VMs 均匀 到 达 很 如 
网 络 和 VMs 负载 都 很 重要 ， 
的 多 项 索引 为 特 4 


于 缓存 重 定向 


正 的 负载 。 


以 及 网 络 空闲 率 ( 己 ) ; 


输 错误 率 以 及 时 延 。 


每 个 VM 必须 有 


个 代理 来 收集 特定 的 


器 
要 。 对 于 本 文 
它 


过 第 一 阶段 负 


们 是 以 同时 考 


CPU 空闲 率 ( 尺 )、RAM 空闲 率 (P) 
网 络 设备 要 考虑 的 参数 有 可 用 宽带 、 


传 


数据 并 发 送 到 


VNFM 网 络 控制 器 ， 它 将 只 存储 最 后 收 到 的 数据 。 由 于 控制 器 


是 集中 的 


且 有 通信 通道 


据 ， 所 以 
个 设备 ， 


本 


载 Ly 的 公式 为 


它 必 须 在 指 


定 的 时 


到 所 有 的 网 络 设备 以 收集 
间隔 内 请 求 有 关 民 
还 只 存储 最 后 的 数据 。 从 VM 的 角 
是 被 动 的 ， 而 从 交换 机 的 角 


间 


人 


来 自 它 们 的 数 


内 部 状态 的 每 


度 出 发 ， 控 制 器 


度 出 发 ， 控 制 器 是 主动 的 ， 可 得 负 


(P)Lm =(100-3PxPxP)x((t,-t)xf,+1 ©) 


其 中 , 为 当前 


间隔 内 的 时 间 息 


罚 医 


子 。 


网 络 负载 | 


来 


令 尸 为 链 路 了 
路 径 负载 亏 ， 


的 集合 ， 


100xt 


区 (bp —e)+ 
X=1 


max 


时 间 戳 ; 1 为 数据 到 达 时 刻 的 时 间 截 ; f, 为 [0,1] 


客户 端 和 VMs 之 间 的 链 路 负载 所 组 成 。 
n 为 P 的 规模 ; 可 以 如 下 式 (3) 建 模 


| G3) 


其 中 心 为 忆 可 用 宽带 ，8 为 传输 误差 ， 上 为 时 延 ，ts 为 最 大 


可 接受 时 延 。 


算法 2，gBstSrv 程序 


1 f: 二 全 


2 L:=[]: 


3 对 于 5 中 的 每 个 服务 器 5 ， 


局 负载 闵 值 ; 


4 ”获得 $s 的 ; 
5 获得 8 的 已， ; 


6 将 {srmmv=w%lner= 世 


7 结 


8 按 ASC 阶 通过 


Net? 


9 从 工 获得 第 一 个 元 素 了 ; 
10 Inet, := f .Inet +t:; 


执行 


lvm = 


Inet 和 Lvm 分 类 区 


Ly} 添 加 到 工 ; 
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录用 稿 


11lvm := f .Jvm+t12 返 
12 从 工 中 获得 第 一 个 元 素 nt ， 


Inet, 和 lym, ; 


单 性 和 实施 设施 ， 本 文选 择 Chord 协议 03。 


,GhinaXiv 例 作 期 利 

钟 百 胜 ， 等 : 软件 定义 网 络 中 利用 IMKVS 结合 NFV 的 分 布 式 网 络 负载 均衡 策略 

可 了 .8 值 最 右边 的 及，; 数 以 百 计 的 请 求 叫 。 选 择 DHT 而 非 独 特集 中 式 哈 希 表 的 主要 
其 Inet 和 Ivm 值 分 别 小 于 或 等 于 原因 是 为 了 避免 单 点 故障 。 实 现 DHTs 的 协议 有 多 个 ， 出 于 简 


13 从 集合 (f 十 n7) 中 返回 随机 数 87V ; Chord 在 对 数 时 间 内 提供 查找 操作 , 它 需要 (log 入 ) 信息 来 
空 制 器 同时 具有 VM 和 网 络 负载 后 , 则 使 用 算法 2, 其 中 ， 找到 任意 对 象 , 其 中 为 网 络 中 的 节点 数 。 假 如 每 个 VM 每 秒 
5 为 可 选 服务 器 ，5 为 最 佳 服 务 器 。 它 可 以 将 请 求 转发 到 负载 可 以 处 理 数据 中 心中 的 500 个 请 求 ， 且 该 数据 中 心 每 秒 具 
较 少 的 服务 器 。 它 使 用 全 局 负载 阀 值 上 来 收集 一 组 负载 较 少 的 105 个 IMKVS 请 求 ， 则 整个 VNF 至 少 需要 2000 个 服务 器 来 
服务 器 而 不 只 是 负载 多 的 服务 器 。 这 种 方法 旨 在 避免 负载 不 平 。 处 理 这 些 请 求 。 这 意味 着 ， 在 这 样 简单 的 环境 中 ，Chord 将 只 
衡 。 需要 11 条 信息 来 找到 索引 值 .。 假 设 两 个 VMs 之 间 有 WW 个 交 
3.2 第 二 阶段 负载 平衡 器 换 机 ， 则 对 于 单一 Chord 查找 ， 至 少 应 有 2xW x N 个 数据 包 
第 二 阶段 负载 平衡 器 有 四 个 组 分 组 成 ， 如 图 4 所 示 。 箭 头 ”遍历 于 网 络 。 
表示 组 分 A 取决 于 B (A 一 B)， 内 部 -VM 连接 表示 网 络 通信 。 为 了 提高 查找 时 间 ， 它 利用 两 个 数据 结构 实施 索引 : 内 部 
C 池 和 S 池 分 别 为 到 客户 端 和 服务 器 的 连接 池 。 调 度 和 复制 组 索引 和 外 部 索引 。 内 部 索引 为 NFV 实例 内 部 的 索引 , 外 部 索引 
件 都 是 最 重要 的 。 第 一 个 负责 根据 负载 平衡 策略 来 处 理 和 转发 为 与 所 有 NFV 索引 共享 的 实际 DHT。 使 用 这 个 数据 结构 的 原 
从 客户 端 到 服务 器 的 请 求 。 第 二 个 能 够 获得 最 流行 的 缓存 对 象 ， 因 是 为 了 减少 每 个 IMKVS 请 求 的 查找 时 间 和 网 络 流量 .所 以 ， 
为 了 避免 网 络 中 的 热点 ， 它 会 评估 点 击 量 并 通过 缓存 层 创 建 副 内 部 和 外 部 索引 储存 的 对 象 包 含 了 映射 服务 器 S(K 一 8) 的 任 
本 。 索 引 负 载 通过 映射 对 象 的 密 钥 到 一 组 IMKVS 服务 器 , 将 意 键 。 
有 关 每 个 对 象 位 置 的 、 更 新 的 分 布 式 信息 维护 到 缓存 层 。 对 于 索引 上 每 个 传 入 的 查找 请 求 ， 它 首先 实施 内 部 索引 查 
找 ， 如 果 没 发 现 结果 ， 则 检查 共享 的 DHT 外 部 索引 。 一旦 外 部 
VM1 VM2 索引 查找 返回 请 求 值 , 则 将 其 复制 到 将 来 查找 请 求 的 内 部 索引 。 
oa NN fe NN 当 执行 插入 或 删除 请 求 时 ， 软 件 将 其 同时 发 送 到 内 部 或 外 部 索 
Pm | 7 | 引 。 在 DHT 之 前 使 用 局 部 哈 希 表 是 为 了 减少 查找 成 本 , 因为 内 
aa (a 部 索引 中 的 查找 时 间 为 O() ,而 DHT 路 由 表 中 为 O(log N) ， 
、 复制 因子 一 和 一 一 一 复制 因子 LT 
其 中 为 节点 数 。 
_ 3.2.3 调度 程序 
图 4 第 二 阶段 负载 平衡 器 的 体系 结构 本 
第 二 阶段 负载 平衡 器 的 主要 组 分 为 调度 程序 ， 调 度 程序 包 
3.2.1 需求 括 中 央 逻 辑 ， 它 负责 根据 负载 平衡 策略 来 处 理 和 转发 从 客户 端 
设计 这 个 模块 是 为 了 通过 平均 分 布 穿 过 缓存 服务 器 的 。 ”到 服务 器 的 请 求 I。 本 节 将 介绍 当 请 求 进 入 VM 实例 时 该 程序 
IMKVS 请 求 来 处 理 IMKVS 请 求 。 通 过 这 种 方式 ， 软 件 必须 知 ”的 概述 。 
道具 体 的 IMKVS 协议 以 确保 它 将 与 所 有 可 用 的 命令 兼容 。 当 请 求 到 达 VM 实例 时 ， 调 度 程序 检查 由 到 任意 服务 器 的 
位 指令 : 当 一 个 客户 端 试图 将 一 个 对 象 存储 到 缓存 层 中 客户 端 发 送 的 指令 。 调 度 程序 执行 的 第 一 步 是 将 键 提取 到 指令 
时 ， 它 将 使 用 置 位 指令 。 参考 的 地 方 。 如 果 有 多 个 数据 包 ， 则 有 必要 读 取 前 P 个 数据 包 
其 他 指令 : 所 有 其 他 指令 假设 所 请 求 的 对 象 已 被 储存 于 组 ”来 提取 键 ,这 一 步 忽略 对 来 自 这 一 指令 的 进一步 数据 包 的 检查 。 
存 中 。 此 时 ，VM 只 需要 检查 储存 对 象 的 服务 器 ， 并 将 请 求 转 旦 该 调度 程序 同时 具有 键 和 指令 ， 即 设置 、 获 取 、mget 或 删 
发 给 这 些 服 务 器 之 一 。 如 果 目 标 对 象 没有 被 存储 在 任何 地 方 ， 除 ， 则 它 可 以 根据 指令 类 型 执行 特别 行动 。 算 法 3 将 根据 指令 
则 将 自己 的 VM 返回 给 请 求 者 客户 端 ， 从 而 节约 了 资源 。 得 以 执行 ， 其 中 C 表示 指令 ， 表示 键 。 
为 了 完成 以 上 所 描述 的 要 求 ， 有 必要 建立 一 个 索引 ， 该 索 法 3: 调度 程序 的 设置 算法 
引用 以 知道 对 象 存储 在 哪里 。 由 于 每 个 对 象 都 被 映射 到 一 个 唯 ” 1 5 :=index .get(k)，; 
一 的 键 ， 所 以 它 有 可 能 使 用 哈 希 表 ， 该 表 会 将 键 上 映射 到 服务 2 如 果 S 不 是 空 的 ， 则 
器 9 。 然 而 ， 它 不 可 能 使 用 基本 哈 希 表 来 完成 这 个 ， 因 为 VM ”3 对 于 S 中 的 每 个 服务 器 ， 执 行 
可 能 有 多 个 实例 , 同时 其 键 不 转发 到 达 特 定 的 VM 请 求 。. 于 是 ， ”4 ”打开 新 的 多 线程 ， 并 将 C 转发 到 5 ; 
为 了 满足 这 个 要 求 ， 这 个 索引 必须 与 VM 的 共享 ， 同 时 使 用 5 结 
DHT 完成 索引 。 6 ” 当 第 一 个 多 线程 完成 转发 时 ， 将 其 响应 返回 到 请 求 者 客户 端 ; 
3.2.2 索引 7 结 
在 DHT 中 , 覆盖 网 中 的 每 个 节点 负责 保存 表 的 一 部 分 。 这 ”8 否则 
些 分 布 式 数据 结构 利用 算法 来 提供 查找 操作 。 DHT 有 能 力 处 理 ”9 ss:= 8BstSry(); 
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10 转发 C 到 8 ， 并 将 其 响应 返回 到 请 求 者 客户 端 ; 
11 索引 put(k.s); 
12 结束 

算法 3 和 4 为 调度 程序 的 重要 算法 。 其 基本 思想 是 : 通过 
查阅 索引 ,检查 内 容 储存 在 哪里 ; 如 果 内 容 不 存储 在 任何 地 方 ， 
则 基于 其 电流 负载 选择 一 个 可 用 的 服务 器 。 算 法 4 可 以 从 目标 
服务 器 中 接收 丢失 的 信息 。 
算法 4: 调度 程序 的 获得 算法 
1 S$ :=index.get(k).; 
2 如 果 不 是 空 的 ， 则 
3 ss:= 8g8BstSrv(),; 
4 ”转发 C 到 5 并 获得 7ESP ， 
5 ”返回 7 到 客户 端 ; 
6 ”如 果 7ESP 为 错过 ， 则 
7 从 索引 中 删除 K ; 


8 ”结束 
9 ”否则 


10 GlobalHitConter+=1: 
11 KeysHitConter[k]+=1; 
12 ”结束 
13 结束 
14 否则 
15 ”返回 错过 到 客户 端 ; 
16 结束 
算法 5 将 一 个 mget 请 求 分 割 为 多 个 获得 请 求 。 然而 ， 当 一 
个 服务 器 处 理 每 个 请 求 的 大 量 键 时 ， 其 处 理 可 能 是 一 个 瓶颈 ， 
因为 每 个 子 请 求 是 并 行 执行 的 ， 所 以 完成 整个 mget 指令 的 时 
间 将 取决 于 网 络 条 件 。 因 为 缓存 分 布 在 许多 服务 器 之 中 ， 所 以 
多 个 获得 指令 将 会 给 出 更 优 的 性 能 。 
算法 5:; 调度 程序 的 mget 算法 
1 对 于 天 中 的 键 K 
2 ”打开 一 个 新 的 多 线程 并 调 
3 结束 
算法 6 由 在 通过 避免 持 有 请 求 键 的 服务 器 之 间 的 通信 来 减 
少 请 求 时 延 。 
算法 6: 调度 程序 的 删除 算法 
1 从 索引 中 删除 K ; 
2 发 送 删除 消息 到 请 求 者 客户 端 ; 
需要 注意 的 是 ， 对 于 第 一 阶段 负载 平衡 器 ， 负 载 定义 Lyw 
和 厂 。， 参 考 VNFVMs, 而 对 于 第 二 阶段 负载 平衡 器 的 调度 程序 ， 


get(C,k),; 
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> 
a 
可 
< 


3.2.4 复制 

算法 7 复制 算法 
1 获得 电流 VM 负载 Ly ; 
2 如 果 世 jy 三 ,,、， 则 
3 P=1]; 
4 8g,. = GlobalHitCounter: 


5 。 对 于 每 个 命中 计数 器 中 的 每 个 上 ， 执 行 

kx100 
站 

Ehe 

了 如 果 刀 之 尺 ， 则 
8 将 {key =k,..key, pc= 刀 } 添加 到 己 ; 
9 结束 
10 ”结束 


11 ”将 GIlobalHitCounter 和 KeysHitCounter 重新 设置 为 0; 
12 5 := 通过 其 负载 分 类 的 所 有 IMKVS 服务 器 ; 

13 ”对 于 PP 中 的 每 个 了 ， 执 行 

14 ”从 索引 中 获得 参考 的 服务 器 集 S，; 

15 S, =S—S,:; 


16 c=p.pcxR,. 


17 复制 前 C 个 5S, 服务 器 上 的 P- 键 ; 
18 ”结束 
19 结 
算法 7 描述 了 每 个 VM 如 何 部 署 复制 机 制 。 为 了 检索 到 普 
及 度 超过 给 定 复制 阔 值 即 R 的 键 , 该 算法 会 检查 计数 器 ,并 将 


对 象 复 制 到 XR 服务器，R; 为 复制 因子 ，P 为 对 象 的 普及 


4 ”仿真 分 析 


在 Java atop 控制 器 中 实施 第 一 阶段 负载 平衡 器 , 使 用 连接 
处 理 的 Netty 构架 在 Java 中 实施 第 二 阶段 负载 平衡 器 ,每 个 VM 
都 有 一 个 对 应 于 VNF 实例 的 可 追捕 的 .jar 菜单 。 所 有 图 表 使 用 
35 个 样本 尺寸 , 设置 95% 的 置信 区 间 。 在 每 次 实验 执行 中 ,在 
所 有 链 路 中 都 设置 有 数据 包 丢 失 从 0 到 lms 和 从 0 到 3% 的 随 
机 时 延 。 
4.1 指令 执行 时 间 的 比较 

图 5 比较 了 每 个 IMKVS 指令 的 执行 时 间 。 在 这 个 实验 中 ， 
配置 有 10 个 客户 端 来 对 10 个 服务 器 进行 每 秒 100 次 的 操作 。 
为 了 测量 本 文 提出 解决 策略 的 影响 ， 本 文 只 使 用 一 个 调度 VM 


它们 参考 IMKVS 服务 器 。 在 两 相 负载 平衡 器 中 ，gBstSrv 调度 
程序 会 使 用 这 些 参数 。 与 第 一 阶段 负载 平衡 器 相 类 似 ， 会 将 来 
自 服务 器 和 网 络 的 负载 通知 给 所 用 的 VM 实例 ， 但 是 在 网 络 负 
载 情况 中 ，VNEFM 询问 SDN 控制 器 的 当前 网 络 负载 ， 而 不 是 
直接 询问 交换 机 。 本 文 提 出 的 体系 结构 注意 过 度 监 测 ， 因 为 它 
可 以 影响 服务 器 的 性 能 和 解决 策略 的 扩展 性 。 


实例 。 结 果 表 明 ， 当 与 CH 进行 比较 时 ， 在 所 有 的 指令 中 ， 本 
文 提出 的 解决 策略 提高 了 IMKYVS 请 求 的 性 能 。 在 mget 指令 上 
可 以 看 到 最 显著 的 改进 , 在 该 mget 指令 中 , 时 间 减 少 了 18%。 
此 外 ， 删 除 指令 的 时 间 提 高 了 45%。 
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时 间 (ms) 


0 | | 


量 一 致 性 哈 希 


加 两 项 负载 平衡 器 


SET 指令 


GET 指 令 ”MGET 指 令 DELETE 指 令 


图 5 


指令 的 执行 时 间 比 较 


4.2 多 个 VMs 的 mget 指令 的 执行 时 间 


图 


6 对 第 二 阶 


段 负 载 平 衡器 不 同 数量 的 VM 实例 的 mget 


前 令 的 执行 时 间 进 行 了 比较 。 结 果 显 示 ， 高 op/s 率 的 较 低 量 的 


VMs 会 引起 性 能 退 


载 平衡 器 转发 了 有 VMs 负载 的 请 求 。 此 外 ,需要 注意 的 是 , 预 
留 空间 不 会 提高 mget 指令 的 整体 性 能 ， 但 会 引 


于 DHT 共享 索引 上 查找 操作 的 增加 导致 的 。 


提升 ， 这 是 


执行 时 间 (ms) 
5 5 
a po ~» 


S 
从 


口 
bo 


化 ， 从 而 改善 了 结果 ， 这 是 因为 第 一 阶段 负 


起 时 间 的 小 幅 


国 1000op/s 
罩 10000opy/s 


| | | | 
2 4 6 8 


10 12 


VM 实例 数 


图 6 多 个 VMs 的 mget 指令 的 执行 时 间 


4.3 服务 器 和 网 络 负载 比较 


图 


7 为 使 用 CH 和 两 相 负 载 平衡 器 时 ,网 络 的 平 ] 


负载 图 。 


为 了 确保 在 相等 的 通信 状态 下 执行 两 次 测量 ， 本 文 只 生成 对 象 


及 其 键 一 次 。 


结果 表明 ， 由 于 存储 内 容 时 选择 负载 较 少 的 服务 


器 的 容量 ， 本 文 提 出 的 负载 平衡 器 将 服务 器 和 网 络 的 负载 分 别 


减少 了 24% 和 7%， 


有 较 好 的 性 能 。 


量 一 致 性 哈 希 
国 两 项 负载 平衡 器 


服务 器 网 络 


到 


7 服务 器 和 网 络 负载 比较 
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等 : 软件 定义 网 络 中 利用 IMKVS 结合 NFV 的 分 布 式 网 络 负载 均衡 策 


4.4 服务 器 和 网 络 能 耗 比 较 


本 次 仿真 同样 只 生成 对 


图 8 为 使 用 CH 和 两 相 负 载 平衡 器 时 , 网 络 的 平均 能 耗 图 。 
象 及 其 键 一 次 。 相 比 于 CH 算法 ， 本 文 


算法 的 指令 执行 时 间 和 网 络 负载 都 有 所 减 小 ， 所 以 本 文 提 出 的 
负载 平衡 器 的 能 耗 也 有 所 降低 。 


5 


加 一 致 性 哈 希 
50 加 两 项 负载 平衡 器 
40 
全 
友 30 
站 
滩 20 
10 
0 
服务 器 网 络 


对 


8 服务 器 和 网 络 能 耗 比较 


结束 语 


本 文 为 IMKVS 系统 提出 了 两 相 负载 平衡 器 ， 它 将 用 于 数 


据 中 心 的 分 布 式 绥 存 中 。 本 文 提出 的 解决 策略 则 在 以 一 种 可 扩 
张 且 容易 部 署 的 方式 减少 服务 器 和 网 络 中 的 负载 。 在 第 一 阶段 
模块 中 ， 仿 真 结 果 表 明 ， 相 比 于 传统 的 网 络 转发 ， 网 络 负载 平 
衡 得 以 提高 ， 同 时 有 助 于 减少 分 布 式 服务 器 处 的 负载 。 在 第 二 
个 阶段 模块 中 , 仿真 结果 表明 ， 本 文 提 出 的 解决 策略 优 于 CH， 


同时 减少 了 执行 IMKVS 系统 基本 指令 的 时 间 。 本 文 提 出 的 解 
决策 略 有 能 力 提 供 更 好 的 资源 使 ) 


]、 减 少 操 作成 本 并 提高 用 户 


经 验 。 
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